Ngôi chùa ban đầu được xây dựng dưới thời trị vì hoàng đế Đường Cao Tông lúc đó tháp cao 54 m (177 ft).[1] Tuy nhiên, tháp được xây bằng đất nhồi với bề mặt bằng đá và đã sập năm thập kỷ sau đó. Võ Tắc Thiên đã cho xây lại và thêm năm tầng mới vào năm 704. Nhưng trong trận động đất Thiểm Tây năm 1556 thì tháp bị hư hại nặng nề và bị giảm đi ba tầng và chỉ còn có chiều cao như ngày nay với bảy tầng.[2] Cấu trúc bị nghiêng về phía tây rất dễ nhận thấy. Một cấu trúc khác liên quan là Tháp Tiểu Nhạn được xây vào thế kỷ 8 chỉ bị hư hại nhẹ trong trận địa chấn năm 1556 (vẫn chưa bị sửa chữa lại cho đến ngày nay).[2] Tháp Đại Nhạn được đại tu nhiều lần vào thời nhà Minh (1368–1644) và được phục chế vào năm 1964. Hiện tại tháp cao 64 mét tính từ đỉnh và từ đỉnh có thể nhìn bao quát thành phố Tây An.

Công trình nằm trong tổ hợp Đền thờ Đại Từ Ân. Đền này được xây dựng từ năm 648 để tôn vinh Trưởng Tôn hoàng hậu, thân mẫu của hoàng đế Đường Cao Tông lúc đó. Đền thờ này đón hàng triệu du khách ghé thăm mỗi năm. Ngày 22 tháng 6 năm 2014, tháp Đại Nhạn được UNESCO công nhận như là một phần của Di sản thế giới Con đường tơ lụa: Mạng đường Trường An - Hành lang Thiên Sơn.